Phạm Đình Chương được nhiều người chỉ dẫn nhạc lý nhưng phần lớn vẫn là tự học. Trong những năm đầu kháng chiến, ông cùng các anh em Phạm Đình Viêm, Phạm Thị Quang Thái và Phạm Thị Băng Thanh gia nhập ban văn nghệ Quân đội ở Liên Khu IV.

Phần nhiều những tác phẩm của Phạm Đình Chương thường được xếp vào dòng tiền chiến bởi mang phong cách trữ tình lãng mạn. Hai sáng tác đầu tiên Ra đi khi trời vừa sáng và Hò leo núi đều có không khí hào hùng, tươi trẻ.

Năm 1951, ông về thành. Với nghệ danh Hoài Bắc, ông cùng các anh em Hoài Trung, Thái Thanh, Thái Hằng lập ban hợp ca Thăng Long danh tiếng, du ca khắp các thành phố lớn của Việt Nam lúc đó. Thời kỳ này, các sáng tác của ông thường mang âm hưởng của miền Bắc như nói lên tâm trạng hoài hương của mình: Khúc giao duyên, Được mùa, Tiếng dân chài... Thời gian sau, ông viết nhiều bản nhạc vui tươi hơn: Xóm đêm, Ly rượu mừng, Đón xuân...

Khi cuộc hôn nhân với ca sĩ Khánh Ngọc tan vỡ, ông bắt đầu sáng tác tình ca. Ông đem tâm trạng đau thương vào bốn ca khúc da diết, đau nhức, buốt giá tâm can: Đêm cuối cùng, Thuở ban đầu, Người đi qua đời tôi, Nửa hồn thương đau.

Phạm Đình Chương cũng phổ nhạc từ thơ. Nhiều bản nhạc phổ thơ của ông đã trở thành những bài bất hủ, có một sức sống riêng như: Đôi mắt người Sơn Tây (thơ Quang Dũng), Mộng dưới hoa (thơ Đinh Hùng), Nửa hồn thương đau (thơ Thanh Tâm Tuyền), Đêm nhớ trăng Sài Gòn (thơ Du Tử Lê)... Phạm Đình Chương cũng đóng góp cho tân nhạc Việt Nam bài trường ca bất hủ Hội Trùng Dương nói về ba con sông đại diện cho ba miền: sông Hồng, sông Hương và sông Cửu Long.